我们研究了带有未知上下文的分布式随机多臂上下文匪徒的问题,其中M代理商在中央服务器的协调下合作选择最佳动作,以最大程度地减少遗憾。在我们的模型中,对手选择在可能的上下文集上的分布,而代理只观察到上下文分布,而确切的上下文是代理人未知的。例如,当上下文本身是嘈杂的测量或基于天气预报或股票市场预测中的预测机制时,就会出现这种情况。我们的目标是开发一种分布式算法,该算法选择一系列最佳动作序列以最大程度地提高累积奖励。通过执行功能向量转换并利用UCB算法,我们提出了一种具有上下文分布的随机匪徒的UCB算法,并证明我们的算法实现了$ O(D \ sqrt {mt} log^2t log^2t)$ o的遗憾和通信范围对于线性参数化的奖励函数,分别为$ o(m^{1.5} d^3)$。我们还考虑了一种情况,代理在选择动作后会观察实际情况。对于此设置,我们提出了一种修改后的算法,该算法利用其他信息来实现更严格的遗憾。最后,我们验证了算法的性能,并使用有关合成数据和现实世界Movielens数据集的大量模拟将其与其他基线方法进行了比较。
translated by 谷歌翻译